"""
@Time: 2021/1/25 下午 1:00
@Author: jinzhuan
@File: tokenize_cn_toolkit.py
@Desc: 
"""
import torch
from cognlp import *
torch.cuda.set_device(4)
tokenize_toolkit = TokenizeCNToolkit(
    model_path='../../../cognlp/data/ws/msra/toolkit/model.pt',
    vocabulary_path='../../../cognlp/data/ws/msra/toolkit/vocabulary.txt',
    device_ids=[4],
)
words = tokenize_toolkit.run("近日，北京、上海等城市流调报告出现一大变化：新增确诊病例流调报告中隐去了病例的性别、年龄、籍贯等个人信息，以涉及区域和场所的信息披露为主。这种在尊重个人隐私、弱化病患及家人压力的同时，保障公众知情权的做法，值得赞誉和提倡。")
print(words)
